由于极大数量的参数和评估标准和再现性，机器学习长期以来被视为黑盒子，用于预测燃烧化学动力学和缺乏评估标准和再现性。目前的工作旨在了解关于深度神经网络（DNN）方法的两个基本问题：DNN需要的数据以及DNN方法的一般数据。采样和预处理确定DNN训练数据集，进一步影响DNN预测能力。目前的工作建议使用Box-Cox转换（BCT）来预处理燃烧数据。此外，这项工作比较了在没有预处理的情况下进行了不同的采样方法，包括蒙特卡罗方法，歧管采样，生成神经网络方法（Cycle-GaN）和新提出的多尺度采样。我们的研究结果表明，通过歧管数据训练的DNN可以以有限的配置捕获化学动力学，但不能对扰动牢固，这对于与流场联系的DNN是不可避免的。蒙特卡罗和循环甘套采样可以覆盖更宽的相位空间，但不能捕获小规模的中间物种，产生差的预测结果。基于没有特定火焰仿真数据的多尺度方法的三层DNN，允许在各种场景中预测化学动力学并在时间的演变期间保持稳定。该单个DNN易于用几个CFD代码实现并在各种燃烧器中验证，包括（1）。零维自动化，（2）。一维自由传播火焰，（3）。具有三重火焰结构的二维喷射火焰，和（4）。三维湍流升降火焰。结果证明了预先训练的DNN的令人满意的准确性和泛化能力。 DNN和示例代码的FORTRAN和PYTHON版本在补充中附加了再现性。

提出了一种基于深度学习的模型减少（DeepMR）用于简化化学动力学的方法，并使用高温自动点火，完全搅拌反应器（PSR）和一维自由传播的正庚烷/空气混合物的一致性。减少机制被建模为布尔空间的优化问题，其中布尔向量，与物种对应的每个条目表示减少的机制。优化目标是最小化给定考虑到一组预选的基准量的误差的机制尺寸。 DeepMR的关键思想是使用深度神经网络（DNN）来制定优化问题中的目标函数。为了有效地探索高维布尔空间，实现了一种迭代的DNN辅助数据采样和DNN训练过程。结果表明，DNN辅助显着提高了采样效率，仅为10 ^ {34}美元的样本中选择了10 ^ 5美元的样品，以实现足够的准确性。结果证明了DNN识别关键物种的能力，合理预测机制性能降低。训练有素的DNN通过解决反向优化问题，保证了最佳减少的机制。通过比较点火延迟时间，Laminar火焰速度，PSR的温度，得到的骨骼机制具有更少的物种（45种），但与通过路径通量分析（PFA）方法获得的骨骼机制（56种）相同的精度水平。另外，如果仅考虑大气，近化学计量条件（0.6和1.2之间的等效比），则骨骼机构可以进一步减少到28种。 DeepMR提供了一种进行模型减少的创新方法，并演示了燃烧区域中数据驱动方法的巨大潜力。

非牛顿流体动力学建模中的长站点是忠实和可解释的流体动力学模型的可用性，忠实地编码潜在的微尺度聚合物动力学。主要并发症由长聚合物弛豫时间，复杂的分子结构和异质相互作用产生。已经提出了深度学习的非牛顿流体动力学模型，并在系统地将微尺度结构力学信息系统上系统地通过简单的聚合物构象和债券潜力来系统地将微尺度结构力学信息和粘合电位的宏观流体动力学进行了一些成功。该模型通过将聚合物配置映射到一组对称的保留宏观级别特征来保留多级性质。这些宏观规模特征的扩展本构规则可以直接从其微尺度对应物的动力学中学到。在本文中，我们使用更复杂的微结构模型进行深入的$ ^ 2 $进一步研究。我们表明，Deepn $ ^ 2 $可以忠实地捕捉到没有人为干预的特定分子结构力学产生的广泛忽视的粘弹性差异。

我们提出了一种高效，可靠和可解释的全球解决方案方法$ \ TEXTIT {基于深度学习的异构代理模型，DeepHAM} $的算法，用于求解具有聚合冲击的高尺寸异质剂模型。状态分布大致由一组最佳的广义时刻表示。深度神经网络用于近似值和策略函数，目标通过直接模拟路径进行优化。除了是一个准确的全球求解器，此方法还具有三种附加功能。首先，它是求解复杂的异质剂模型的计算上有效，并且不会遭受维度的诅咒。其次，它提供了对个人国家分布的一般和可解释的代表;这对于解决宏观经济学中的经典问题是否以及如何以及如何在宏观经济中的古代问题。第三，它尽可能容易地解决了受限效率问题，这使得这适用于研究具有聚集震动的异构性药剂模型的最佳货币和财政政策的新可能性。

在本文中，我们通过模型 - 操作员数据网络（Mod-Net）提出了一种机器学习方法，用于解决PDE。 Mod-net由模型驱动，以基于操作员表示从数据的正则化求解PDE。对于线性PDE，我们使用DNN来参数化绿色的功能，并获得神经运营商根据绿色的方法近似解。为了训练DNN，经验风险由具有最小方形配方的平均平方损失或控制方程和边界条件的变分制。对于复杂的问题，经验风险还包括一些标签，这些标签在具有廉价计算成本的粗网点上计算，并显着提高了模型精度。直观地，除模型约束外，标记的数据集还可作为正则化。 Mod-Net解决了一个PDE系列，而不是特定的PDE，并且比原始神经运营商更有效，因为需要少量昂贵的标签。我们在求解泊松方程和一维辐射传输方程方面显示Mod-Net非常有效。对于非线性PDE，非线性MOD-NET可以类似地用作ansatz来求解非线性PDE，通过求解几个非线性PDE问题，例如汉堡方程。

生成的对抗网络（GaN）是学习高维分布的众所周知的模型，但是没有理解其泛化能力的机制。特别是，GaN容易受到记忆现象的影响，最终会聚到经验分布。我们考虑一个简化的GaN模型，发电机替换为密度，分析鉴别者如何有助于泛化。我们表明，随着早期停下来，威尔斯坦度量测量的泛化误差从维度的诅咒中逃脱，尽管长期来看，记忆是不可避免的。此外，我们展示了WAN的学习结果的硬度。

尽管训练速度更快，但虽然亚当 - 相似的自适应梯度算法与SGD相比遭受较差的概率性能。这项工作旨在通过分析其本地融合行为来提供对该概括性差距的谅解。具体来说，我们观察这些算法中的梯度噪声的重尾。这使我们通过其征收驱动的随机微分方程（SDE）来分析这些算法，因为算法及其SDE的相似性行为。然后我们从本地盆地建立了这些SDE的逃逸时间。结果表明，（1）SGD和ADAM〜逃逸时间〜取决于盆地的氡度量，梯度噪声的沉重效果负面; （2）对于同一个盆地，SGD享有比亚当更小的逃逸时间，主要是因为（a）ADAM〜通过自适应地缩放的几何适应，每个梯度坐标很好地减少了梯度噪声中的各向异性结构，并导致盆地的较大氡量度; （b）亚当〜adamiential梯度平均平均值平滑其梯度，并导致比SGD更轻的梯度噪声尾。因此，SGD比ADAM〜在夏普最小值中更为不稳定，定义为当地盆地具有小氡度量的最小值，并且可以更好地逃离它们以更大的氡度量效果。在这里，这通常是在平面或不对称盆地/谷的最小值，通常比锐利更概括，我们的结果阐述了SGD对亚当的更好的泛化表现。最后，实验结果证实了我们重型落后的渐变噪声假设和理论肯定。

We propose a deep learning based method, the Deep Ritz Method, for numerically solving variational problems, particularly the ones that arise from partial differential equations. The Deep Ritz method is naturally nonlinear, naturally adaptive and has the potential to work in rather high dimensions. The framework is quite simple and fits well with the stochastic gradient descent method used in deep learning. We illustrate the method on several problems including some eigenvalue problems.

Developing algorithms for solving high-dimensional partial differential equations (PDEs) has been an exceedingly difficult task for a long time, due to the notoriously difficult problem known as the "curse of dimensionality". This paper introduces a deep learning-based approach that can handle general high-dimensional parabolic PDEs. To this end, the PDEs are reformulated using backward stochastic differential equations and the gradient of the unknown solution is approximated by neural networks, very much in the spirit of deep reinforcement learning with the gradient acting as the policy function. Numerical results on examples including the nonlinear Black-Scholes equation, the Hamilton-Jacobi-Bellman equation, and the Allen-Cahn equation suggest that the proposed algorithm is quite effective in high dimensions, in terms of both accuracy and cost. This opens up new possibilities in economics, finance, operational research, and physics, by considering all participating agents, assets, resources, or particles together at the same time, instead of making ad hoc assumptions on their inter-relationships.

Logic Mill is a scalable and openly accessible software system that identifies semantically similar documents within either one domain-specific corpus or multi-domain corpora. It uses advanced Natural Language Processing (NLP) techniques to generate numerical representations of documents. Currently it leverages a large pre-trained language model to generate these document representations. The system focuses on scientific publications and patent documents and contains more than 200 million documents. It is easily accessible via a simple Application Programming Interface (API) or via a web interface. Moreover, it is continuously being updated and can be extended to text corpora from other domains. We see this system as a general-purpose tool for future research applications in the social sciences and other domains.